Model-Aware Schedules Improve Generation via Fiberwise Optimal Transport
模型感知调度通过纤维最优传输改进生成
🧭 扩散/流匹配训练调度优化
Arnold-Sommerfeld-Center for Theoretical Physics, Ludwig-Maximilians-Universität München · Institute of Informatics, Ludwig-Maximilians-Universität München · Munich Center for Machine Learning
提出基于纤维最优传输的模型感知调度,显著提升扩散/流匹配生成效率,并发现可复用的风险模板
📌 工作参考价值(4 点)
- 训练时间重分配思路可迁移到扩散式生成推荐:用早期 checkpoint 估计模型在不同噪声时间步的预测风险,将训练采样集中在高风险区域,提升 item 表示生成质量或加速推理采样。
- 归一化风险 profile 跨模型/设置的经验普适性表明,可以离线生成一个冻结的解析调度模板,在类似任务中直接复用,省去逐模型调参成本。
- 模型感知调度把计算资源向预测困难处倾斜,与推荐中困难样本挖掘/课程学习思想一致,可结合业务指标设计风险函数,例如对高交互稀疏 item 的时间步加权。
- 注意该工作面向图像生成,迁移到推荐需谨慎:需重新定义纤维上的 OT 成本(如 item embedding 距离),并适配召回/NDCG 等业务目标。